由于其灵活性和能源效率，现场编程的门阵列（FPGA）正在广泛使用无数数据中心应用程序的加速器。在这些应用中，FPGA在加速低延迟实时深度学习（DL）推论方面显示出令人鼓舞的结果，这已成为许多最终用户应用中必不可少的组成部分。通过多个用户可以共享虚拟化云FPGA的新兴研究方向，基于FPGA的DL加速器的安全方面需要仔细考虑。在这项工作中，我们评估了DL加速器在多端FPGA方案中基于电压的完整性攻击的安全性。我们首先证明了使用不同的攻击者电路对最先进的Stratix 10卡进行此类攻击的可行性，这些攻击者在逻辑上和物理上在单独的攻击者角色中隔离，并且不能被传统的BitStream Checkers标记为恶意电路。我们表明，在现代FPGA中，激进的时钟门控，一种有效的节能技术也可能是潜在的安全威胁。然后，我们对受害者角色的DL加速器进行攻击，以评估DL模型对对手引起的正时故障的固有弹性。我们发现，即使使用最强的攻击器电路，在以安全的操作频率运行时，DL加速器的预测准确性也不会受到损害。此外，我们可以通过过度锁定DL加速器而不会影响其预测准确性来实现1.18-1.31倍的推理性能。
translated by 谷歌翻译
In this paper, we present a novel method for integrating 3D LiDAR depth measurements into the existing ORB-SLAM3 by building upon the RGB-D mode. We propose and compare two methods of depth map generation: conventional computer vision methods, namely an inverse dilation operation, and a supervised deep learning-based approach. We integrate the former directly into the ORB-SLAM3 framework by adding a so-called RGB-L (LiDAR) mode that directly reads LiDAR point clouds. The proposed methods are evaluated on the KITTI Odometry dataset and compared to each other and the standard ORB-SLAM3 stereo method. We demonstrate that, depending on the environment, advantages in trajectory accuracy and robustness can be achieved. Furthermore, we demonstrate that the runtime of the ORB-SLAM3 algorithm can be reduced by more than 40 % compared to the stereo mode. The related code for the ORB-SLAM3 RGB-L mode will be available as open-source software under https://github.com/TUMFTM/ORB SLAM3 RGBL.
translated by 谷歌翻译
机器人定位是使用地图和传感器测量结果找到机器人姿势的反问题。近年来，可逆神经网络（INNS）成功地解决了各个领域的模棱两可的反问题。本文提出了一个解决旅馆本地化问题的框架。我们设计了一个在逆路径中提供隐式映射表示形式的旅馆。通过对评估中的潜在空间进行采样，局部\ _inn输出机器人以协方差构成，可用于估计不确定性。我们表明，本地\ _inn的本地化性能与延迟较低的当前方法相当。我们使用训练集的外观显示了从本地\ _inn的详细的2D和3D地图重建。我们还使用本地\ _inn提供了全球本地化算法来解决绑架问题。
translated by 谷歌翻译
深度强化学习（DRL）是一种仅从演示和经验中学习机器人控制政策的有前途的方法。为了涵盖机器人的整个动态行为，DRL训练是通常在仿真环境中得出的主动探索过程。尽管这种模拟培训廉价且快速，但将DRL算法应用于现实世界的设置很困难。如果对代理进行训练直到它们在模拟中安全执行，则由于模拟动力学和物理机器人之间的差异引起的SIM到真实差距，将其传输到物理系统很困难。在本文中，我们提出了一种在线培训DRL代理的方法，可以使用基于模型的安全主管在实体车辆上自动驾驶。我们的解决方案使用监督系统检查代理选择的操作是安全还是不安全，并确保在车辆上始终采取安全措施。这样，我们可以在安全，快速，有效地训练DRL算法的同时绕过SIM到现实的问题。我们提供各种现实世界实验，在线培训一辆小型实体车辆，可以自动驾驶，没有事先模拟培训。评估结果表明，我们的方法在未崩溃的同时提高了样品效率的训练代理，并且受过训练的代理比在模拟中训练的代理表现出更好的驾驶性能。
translated by 谷歌翻译
尽管机器人学课程在高等教育方面已建立，但这些课程通常专注于理论，有时缺乏对开发，部署和将软件应用于真实硬件的技术的系统覆盖。此外，大多数用于机器人教学的硬件平台是针对中学水平的年轻学生的低级玩具。为了解决这一差距，开发了一个自动驾驶汽车硬件平台，称为第1 f1 f1tth，用于教授自动驾驶系统。本文介绍了以“赛车”和替换考试的竞赛为主题的各种教育水平教学模块和软件堆栈。第1辆车提供了一个模块化硬件平台及其相关软件，用于教授自动驾驶算法的基础知识。从基本的反应方法到高级计划算法，教学模块通过使用第1辆车的自动驾驶来增强学生的计算思维。第1辆汽车填补了研究平台和低端玩具车之间的空白，并提供了学习自主系统中主题的动手经验。多年的四所大学为他们的学期本科和研究生课程采用了教学模块。学生反馈用于分析第1个平台的有效性。超过80％的学生强烈同意，硬件平台和模块大大激发了他们的学习，而超过70％的学生强烈同意，硬件增强了他们对学科的理解。调查结果表明，超过80％的学生强烈同意竞争激励他们参加课程。
translated by 谷歌翻译
自主赛车奖的代理商对反对者的行为做出反应，并以敏捷的操纵向沿着赛道前进，同时惩罚过度侵略性和过度保守的代理商。了解其他代理的意图对于在对抗性多代理环境中部署自主系统至关重要。当前的方法要么过分简化代理的动作空间的离散化，要么无法识别行动的长期影响并成为近视。我们的工作重点是应对这两个挑战。首先，我们提出了一种新颖的降低方法，该方法封装了不同的代理行为，同时保留了代理作用的连续性。其次，我们将两种代理赛车游戏制定为遗憾的最小化问题，并通过遗憾的预测模型为可行的反事实遗憾最小化提供了解决方案。最后，我们在规模的自动驾驶汽车上实验验证了我们的发现。我们证明，使用拟议的游戏理论规划师使用代理表征与客观空间显着提高了对不同对手的获胜率，并且在看不见的环境中，改进可以转移到看不见的对手。
translated by 谷歌翻译
使用深度学习技术，可以在MRI图像中自动检测到旁那鼻鼻窦系统中的异常，并可以根据其体积，形状和其他参数（例如局部对比度）进行进一步分析和分类。但是，由于培训数据有限，传统的监督学习方法通常无法概括。现有的旁那间异常分类中的深度学习方法最多可诊断出一种异常。在我们的工作中，我们考虑三个异常。具体而言，我们采用3D CNN来分离上颌鼻窦体积，而没有异常的鼻窦体积，并具有异常。为了从一个小标记的数据集中学习强大的表示形式，我们提出了一种新颖的学习范式，结合了对比损失和跨内向损失。特别是，我们使用有监督的对比损失，鼓励有或没有异常的上颌窦量的嵌入来形成两个不同的簇，而跨层损失则鼓励3D CNN保持其歧视能力。我们报告说，两种损失的优化是有利的，而不是仅通过一次损失而优化。我们还发现我们的培训策略会提高标签效率。使用我们的方法，3D CNN分类器的AUROC为0.85，而用横向渗透损失优化的3D CNN分类器可实现0.66的AUROC。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
在本文中，我们使用当前预先训练的语言模型（PTLMS）来呈现并实现用于执行深度参数分析（Deepa2）的多维模块化框架。 ArgumentAnalyst - T5模型（Raffel等，2020）在Deepa2中设置和培训 - 重建辩论文本，推进非正式论证，作为有效参数：它插入，例如，缺失的房屋和结论，正式地形成推论，并连贯将逻辑重建链接到源文本。我们为深度参数分析创建了一个合成语料库，并在这个新数据集以及现有数据，特别是EntailmentBank上评估ArgumentAnalyst（Dalvi等，2021）。我们的实证调查结果致力于整体框架，突出模块化设计的优势，特别是其模拟建立的启发式（如诠释学循环）的能力，以探讨模型的不确定性，以应对多种正确的解决方案（未排序），以及利用更高阶的证据。
translated by 谷歌翻译